Khi rời dịch vụ, Sheeran trở thành tài xế xe tải nhưng kiếm thêm thu nhập bằng cách thực hiện các hoạt động tội phạm, bao gồm giết người theo yêu cầu. Do sự nhạy bén trong việc phạm tội, ông ta trở thành một cộng sự thân cận của các ông trùm Mafia là Russell Bufalino và Angelo Bruno. Ông gặp Bufalino vào năm 1955, ban đầu làm công việc lái xe đưa ông trùm đi khắp nơi và giao hàng.[20] Bufalino, người đứng đầu gia đình tội phạm Bufalino, đóng vai trò là người cố vấn của Sheeran trong suốt cuộc đời.

Sheeran bị nghi ngờ là xạ thủ đơn nhất trong vụ giết Joe Gallo tại Umberto's Clam House vào ngày 7 tháng 4 năm 1972. Nhiều năm sau, trưởng nhóm thám tử vụ án Joe Gallo là Joe Coffey xác nhận rằng Sheeran là người đã giết Gallo vì NYPD sẽ không nghe máy với những người gọi điện thoại, những người sẽ cố bán thông tin NYPD về "ba kẻ giết người", tuyên bố đã giết Gallo để thử lòng trung thực. Coffey được cho là đã nói rằng "Chúng tôi (NYPD) biết rằng đó là một tay súng đơn độc lớn và ông ta chắc chắn không phải là người Ý." Câu chuyện được lưu truyền là ba người đàn ông Ý đã xông vào Umberto's nổ súng và giết chết Gallo. Đồng thời, một nhân chứng riêng biệt từ đêm nổ súng đã xác nhận rằng Sheeran đã giết Gallo. Sheeran rõ ràng cũng hoạt động từ một quán bar ở Sharon Hill, Pennsylvania, nơi thực tế được điều hành bởi Bill Distanisloa, một đàn em của Angelo Bruno.[21]